尽管已经提出了几种方法来实现领域泛化的艰巨任务,但了解使这项任务挑战的原因很少受到关注。在这里,我们提出semanticdg(语义域概括):具有15个具有相同几何形状,场景布局和摄像机参数与流行的3D Scannet数据集的基准标准,但具有照明,材料和视图点的控制域移动。使用此基准,我们独立研究了这些语义转变对概括的影响。视觉识别模型很容易推广到新颖的照明,但与材料和观点的分配变化斗争。受到人类视野的启发,我们假设场景上下文可以作为桥梁,以帮助模型跨越材料和观点域的转移,并提出上下文感知的视觉变压器,以及对材料和观点变化的对比损失,以解决这些域的变化。我们的方法(称为CDCNET)的表现优于现有域的概括方法,超过18%。作为关键的基准,我们还进行心理物理学实验,发现人类在照明,材料和观点上同样概括地概括了。此处介绍的基准和计算模型有助于了解与跨域的概括相关的挑战,并提供了向语义分布转移推断的初始步骤。我们在补充中包括所有数据和源代码。
translated by 谷歌翻译